# !/usr/bin/env python3
# -*- coding:utf-8 -*-
# 启动命令 scrapy crawl MyScr1 --nolog
__author__ = 'lilu'

import scrapy
# 引入本地的模板
from scrapyDemo.Citems import Citme


class MyScr(scrapy.Spider):

    # 设置全局唯一的name
    name = 'MyScr1'

    #allowed_domains = ['blog.java1234.com']

    # 填写爬取地址
    start_urls = ['http://blog.java1234.com/index.html?page=1&']

    # 编写爬取方法
    def parse(self, response):
        # 实例一个容器保存爬取的信息
        item = Citme()
        # 这部分是爬取部分，使用xpath的方式选择信息，具体方法根据网页结构而定
        # 先获取每个课程的div
        for box in response.xpath('//span[@class="title"]'):
            # 获取div中的课程标题
            item['title'] = box.xpath('.//a/text()').extract()[0].strip()

            print("打印爬取值item:",item)
            # 返回信息
            yield item

        #new_url = response.xpath('//a[/html/body/div/div[3]/div[1]/div[2]/nav/ul/li[6]]//@href').extract_first()  # 翻页
        new_url = response.xpath('/html/body/div/div[3]/div[1]/div[2]/nav/ul/li[6]/a//@href').extract_first()  # 翻页
        print('new_url:',new_url)
        if new_url and new_url != '#' :
            yield scrapy.Request('http://blog.java1234.com' + new_url, callback=self.parse)
